Преамбула

Если уделить некоторое время анализу архитектуры доступных русскоязычных (и не только) "виртуальных ассистентов" уровня "голосовая колонка", то можно заметить одну примечательную особенность. Они все очень похожи друг на друга и на своих англоязычных аналогов.

Думаю, это результат исключительно человеческого фактора на уровне ( Read more... )

Итак, текущее состояние проекта чатбота зафиксировано в релизе 0.0.2.16. Вика стала многословней и чуточку лучше поддерживает чит-чат:
( чатбот Вика в телеграме... )

1. Я немного автоматизировал процесс hard negative mining для чатбота, добавил найденные негативные сэмплы в датасеты и переобучил все модели. Заодно расширил тестовый диалог, в котором проверяется модель синонимичности. Теперь чатбот умеет кое-что о себе рассказывать:
( Read more... )

Очень непросто оказалось ввести в чатбот некоторую проактивность, например (B - реплики бота, H - реплики человека):

B:> Добрый день
H:> Привет, как тебя зовут?
B:> кеша
B:> А как тебя зовут?
H:> Меня зовут Илья.
B:> Рад знакомству.

( Read more... )

1. Выложил в репозиторий эксперимента cеточные модели для бинарной классификации на C++ в Apache.SINGA, OpenNN и tiny-dnn:

TinyDNN_Model.cpp - решатель на базе MLP, реализованного средствами библиотеки tiny-dnn (C++, проект для VS 2015)
alexnet.cc - решатель на базе нейросетки, реализованной средствами Apache.SINGA (C++, проект для VS 2015)
main. ( Read more... )

Хочу попробовать добавить в зоопарк решателей задачи https://github.com/Koziev/WordRepresentations:

1) сеточную модель на базе библиотеки Nervana Neon (https://github.com/NervanaSystems/neon)
2) сеточную модель на базе CNTK (https://docs.microsoft.com/en-us/cognitive-toolkit/) - как минимум evaluation код на C ( Read more... )

Соревнование: http://www.dialog-21.ru/evaluation/2017/morphorueval/Как в старые добрые времена, которые я не успел застать: машинное время на моем сервере на ближайшие пару недель расписано полностью. Все четыре ядра и 32 Гб памяти будут гонять питоновские скрипты ( Read more... )

1. Перефразировки.

( Read more... )

Сделал очень простой алгоритм, который подбирает правильный порядок слов в ходе нормализации словосочетаний.

Выдержка из результатов тестового прогона по моей базе оценок из отзывов:

( перестановочная нормализация словосочетаний... )

Самое главное: больше не будет 32-битных версий. Синтаксический парсер портирован под Windows на 64 бита и вроде чувствует себя в новом варианте неплохо. Раньше я уже портировал его на 64-битный linux. Так как ни одна из текущих задач не требует 32-битного варианта, не вижу смысла собирать соответствующие словарные базе и исполнимые файлы ( Read more... )